LazFormer: Scaling Transformers for Industrial Recommendation via Transferable Generative Pre-training
LazFormer：面向工业推荐的可迁移生成式预训练 Transformer 扩展
🧭 生成式预训练 + 排序 Transformer ★ 深度解读
Alibaba International Digital Commerce Group
用生成式预训练 + 残差适配器 + 非对称多 epoch 训练，实现工业推荐 Transformer 的参数与数据双扩展
📌 工作参考价值（4 点）
- 预训练与排序特征空间不一致时，用零初始化的残差适配器（类似 LoRA）注入排序特定特征，比直接拼接或额外投影更稳定，能避免稠密参数负迁移
- 长序列建模可保留最近 1k 细粒度 token + 更早历史按组求和池化；混合稀疏注意力中最近 128 个 token 设为全局 token，其余用滑动窗口，目标 item 只与历史交互且目标之间隔离，再逐层剪枝历史 token，可达到 92%+ 稀疏度和 5x 注意力加速，AUC 损失仅 0.1pt
- 多 epoch 训练时，每 epoch 把稀疏 embedding 重置回预训练状态、稠密参数持续累积，能避免稀疏过拟合，使数据规模扩展持续带来收益
- 同请求多个候选 item 共享一次用户历史序列编码，消除重复数据传输和编码开销，在线吞吐下降仅 12.1%，工程收益显著